Elaboração de uma pré-testagem indireta1
Cristina Carvalho e Sibele Cazelli
SOCED/PUC-Rio
Introdução
Os integrantes da pesquisa “Escolarização das elites", no momento, desenvolvem um survey cujo objetivo é o de estudar como se cruzam e
combinam as influências familiares, sociais e escolares na formação acadêmica dos jovens pertencentes a escolas privadas de elite, visto que há pouco conhecimento
sobre esse tema. Para a coleta de dados, elaborou-se um questionário estruturado da seguinte forma: questões semelhantes (quinze) às do questionário do aluno SAEB (8ª
série do Ensino Fundamental), às do questionário do PISA (avaliação internacional de habilidades e conhecimentos de jovens de 15 anos que pretende examinar se os
alunos adquiriram conhecimentos e habilidades essenciais para a participação efetiva na sociedade) e questões novas (fechadas e abertas) construídas pelos integrantes da
equipe.
No entanto, não foi possível executar uma das etapas apontadas como cruciais na pesquisa de survey, que é a pré-testagem do questionário. Conforme
Babbie (1999), essa etapa está diretamente relacionada à população. Portanto, ao mudar a população torna-se necessário testar novamente. Como uma
parcela das questões (quinze) do instrumento da pesquisa em foco é comum ao instrumento do SAEB, pré-testado, é possível realizar uma pré-testagem indireta,
ou seja, selecionando um subconjunto de respondentes do SAEB que apresentam características que consideramos próximas àquelas dos respondentes da população
escolhida para a nossa investigação (alunos da 8ª série de uma escola privada de elite).
O que diz Babbie sobre pré-testes e estudos-pilotos
A pesquisa de survey é uma das ferramentas disponíveis para pesquisadores da área social. Babbie (1999) mostra que esse tipo de
investigação não se resume a fazer perguntas e contar respostas, mas sim, utilizar técnicas específicas que se encaixam nas normas gerais da
investigação. Vale destacar que o survey pode ser usado de forma bastante vantajosa e eficaz, principalmente quando combinado com outros métodos, por exemplo, entrevistas.
Por ser uma pesquisa que exige altos investimentos em termos de recursos financeiros, além de equipes grandes e com experiência de trabalho, é crucial que se cumpram certas
etapas, como o pré-teste e o estudo-piloto, inerentes a esse tipo de estudo com o intuito de minimizar possíveis riscos.
Segundo esse autor, o pré-teste se refere ao teste inicial de aspectos do desenho da investigação, como por exemplo o questionário; enquanto estudo-piloto diz
respeito ao exame em pequena escala de todo o desenho da pesquisa, ou seja, é o survey em miniatura. Portanto, pré-teste e estudo-piloto visam assegurar a criação
de dados úteis.
A finalidade do pré-teste, no contexto do survey, é bastante clara. Contudo, alguns pontos devem ser ressaltados: caso se queira pré-testar parte do
questionário, é importante considerar que o contexto afeta sua recepção, portanto, o instrumento deve ser pré-testado tal como será usado na pesquisa; caso
se queira utilizar respostas de uma pergunta aberta para compor itens de uma pergunta fechada, torna-se necessário pré-testar de novo. O fundamental é entender que o objetivo do
pré-teste é melhorar o instrumento da pesquisa.
No que concerne ao estudo-piloto, a coleta de dados será conduzida como uma versão em menor escala de um estudo completo, de modo a testar adequadamente os instrumentos e os
procedimentos de coleta de dados e preparação da base de dados. Com relação aos instrumentos, esse tipo de teste objetivará responder perguntas, tais como: os itens
do questionário produzem variância? Há itens que produzem dados faltantes em percentuais preocupantes? Os itens funcionam adequadamente nos diversos subgrupos da amostra? As
respostas aos itens referendam os construtos priorizados?
Realizando a pré-testagem indireta
Para realizar essa pré-testagem indireta, adotamos os seguintes procedimentos: para construir a base da nossa amostra, selecionamos um subconjunto de respondentes a
partir de algumas variáveis da base do SAEB/99 (região, rede, estado civil, nº de filhos, você trabalha, nº de banheiros, nº de quartos, nº de tv a cores,
nº de vídeo, nº de telefone’, nº de celular, nº de computador, nº de automóvel, empregada doméstica), visto que entendemos que a
seleção desses itens seriam suficientes para caracterizar a nossa população, aproximando-a daquela do SAEB. Vale esclarecer que nossa população é
composta de alunos de classe média alta, estudantes de 8ª série da rede privada de ensino, de uma escola católica localizada na zona sul da cidade do Rio de Janeiro.
Na seqüência, utilizamos o Programa SPSS e a base de dados do SAEB/99. Por meio do recurso select case, selecionamos uma a uma as variáveis acima mencionadas para
compor a base da nossa amostra, obtendo um total de 688 casos. Identificamos então as questões comuns aos dois questionários, com o intuito de verificar como a nossa
população responderia a essas questões.
A seguir, comentamos os resultados obtidos com o auxílio do recurso statistics frequencies para cada uma das questões comuns, possibilitando assim termos uma idéia
daquilo que os alunos da nossa amostra responderiam (respostas simuladas). É importante assinalar que o percentual em destaque (negrito) corresponde à alternativa de resposta que mais
se aproxima daquela que esperamos encontrar na nossa amostra:
- Pai mora com você?
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
11257 |
10,3 |
10,3 |
10,3 |
Sim |
97909 |
89,7 |
89,7 |
100,0 |
Total |
109166 |
100,0 |
100,0 |
|
Analisando a coluna de percentagens válidas, é possível inferir que 90% ou mais dos alunos da nossa amostra responderão que moram com o pai.
- Mãe mora com você?
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
1168 |
1,1 |
1,1 |
1,1 |
Sim |
107836 |
98,8 |
98,9 |
100,0 |
Total |
109005 |
99,9 |
100,0 |
|
Faltante |
Dados Faltantes |
161 |
,1 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagens válidas, é possível inferir que quase 100% dos alunos da nossa amostra responderão que moram com a
mãe. Comparando o percentual da resposta desse item (98,9) com o da questão anterior (89,7), pode-se especular que no caso de separação dos pais, há uma
tendência de que os filhos permaneçam com a mãe.
- Irmãos/Irmãs moram com você?
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
9353 |
8,6 |
8,6 |
8,6 |
Sim |
107836 |
98,8 |
98,9 |
100,0 |
Total |
108912 |
99,8 |
100,0 |
|
Faltante |
Dados Faltantes |
254 |
,2 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagens válidas, é possível inferir que existe a possibilidade de obtermos um percentual menor na nossa amostra, tendo em
vista que os nossos sujeitos pertencem a famílias de uma classe social com maior probabilidade de ter apenas um filho.
- Repetência
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
,00 |
95272 |
87,3 |
87,3 |
87,3 |
1,00 |
10335 |
9,5 |
9,5 |
96,7 |
2,00 |
3004 |
2,8 |
2,8 |
99,5 |
3,00 |
398 |
,4 |
,4 |
99,9 |
4,00 |
157 |
,1 |
,1 |
100,0 |
Total |
109166 |
100,0 |
100,0 |
|
Analisando a coluna de percentagem válida, é possível inferir que existe a possibilidade de obtermos um percentual maior na nossa amostra, uma vez que
nossa pesquisa tem seu foco nas escolas de elite da rede privada que via de regra não admitem ou permitem apenas uma repetência.
- Cursos: Esporte
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
38896 |
35,6 |
35,6 |
35,6 |
Sim |
70270 |
64,4 |
64,4 |
100,0 |
Total |
109166 |
100,0 |
100,0 |
|
Analisando a coluna de percentagem válida, é possível inferir que existe a probabilidade de que a nossa população apresente um percentual
mais elevado porque as famílias podem custear esse tipo de atividade.
- Cursos: Línguas
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
28762 |
26,3 |
26,3 |
26,3 |
Sim |
80404 |
73,7 |
73,7 |
100,0 |
Total |
109166 |
100,0 |
100,0 |
|
Analisando a coluna de percentagem válida, é possível inferir que existe a mesma probabilidade e justificativa apontadas no item anterior.
- Cursos: Computação
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
95179 |
87,2 |
87,3 |
87,3 |
Sim |
13849 |
12,7 |
12,7 |
100,0 |
Total |
109028 |
99,9 |
100,0 |
|
Faltante |
Dados Faltantes |
139 |
,1 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta será maior do que o indicado, uma vez que a
escola da nossa investigação oferece cursos de computação, além do fato de os alunos terem computador em suas residências e contarem com o apoio dos pais.
- Cursos: Música
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
80018 |
73,3 |
73,5 |
73,5 |
Sim |
28849 |
26,4 |
26,5 |
100,0 |
Total |
108867 |
99,7 |
100,0 |
|
Faltante |
Dados Faltantes |
299 |
,3 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta será bem maior do que o indicado, uma vez que o
indivíduos que compõem a nossa a mostra possuem um capital cultural herdado e um incentivo maior para buscar essa atividade.
- Cursos: Outros
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
75898 |
69,5 |
70,0 |
70,0 |
Sim |
32498 |
29,8 |
30,0 |
100,0 |
Total |
108397 |
99,3 |
100,0 |
|
Faltante |
Dados Faltantes |
770 |
,7 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta deverá ficar em torno do indicado, visto que as
opções apresentadas contemplam as possibilidades de cursos usuais nessa faixa etária.
- Agremiações: Grêmio Escolar
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
100052 |
91,7 |
92,3 |
92,3 |
Sim |
8349 |
7,6 |
7,7 |
100,0 |
Total |
108401 |
99,3 |
100,0 |
|
Faltante |
Dados Faltantes |
766 |
,7 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta deverá ficar bem abaixo do indicado, pois a
participação dos alunos da nossa amostra nas atividades promovidas por esse tipo de agremiação é mais freqüente.
- Agremiações: Assoc. desportiva
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
94256 |
86,3 |
86,6 |
86,6 |
Sim |
14524 |
13,3 |
13,4 |
100,0 |
Total |
108780 |
99,6 |
100,0 |
|
Faltante |
Dados Faltantes |
386 |
,4 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que existe a mesma probabilidade e justificativa apontadas no item anterior.
- Agremiações: Assoc. moradores
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
103807 |
95,1 |
95,5 |
95,5 |
Sim |
4939 |
4,5 |
4,5 |
100,0 |
Total |
108746 |
99,6 |
100,0 |
|
Faltante |
Dados Faltantes |
421 |
,4 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que existe a probabilidade de que o percentual apresente-se também alto para os
alunos da nossa amostra. Acreditamos que a participação fique comprometida pelo pouco tempo que dispõem para freqüentar mais uma atividade promovida por esse tipo de
agremiação.
- Agremiações: Movimento religioso
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
103807 |
95,1 |
95,5 |
95,5/font> |
Sim |
4939 |
4,5 |
4,5 |
100,0 |
Total |
108746 |
99,6 |
100,0 |
|
Faltante |
Dados Faltantes |
421 |
,4 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que a nossa amostra certamente apresentará um percentual maior de
participação nas atividades organizadas por movimento religioso pelo fato de a escola da nossa amostra ser religiosa.
- Agremiações: Partido Político
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
Não |
105681 |
96,8 |
97,6 |
97,6 |
Sim |
2645 |
2,4 |
2,4 |
100,0 |
Total |
108326 |
99,2 |
100,0 |
|
Faltante |
Dados Faltantes |
840 |
,8 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta deverá ficar em torno do indicado. Dificilmente
alunos dessa faixa etária participam de atividades promovidas por esse tipo de agremiação, salvo quando acompanham pais politizados e ativistas.
- Agremiações: ONG
|
Freqüência |
Percentual |
Percentual Válido |
Percentual Cumulativo |
Válido |
NÃO |
10265 |
94,0 |
94,2 |
94,2 |
Sim |
6347 |
5,8 |
5,8 |
100,0 |
Total |
108911 |
99,8 |
100,0 |
|
Faltante |
Dados Faltantes |
255 |
,2 |
|
|
Total |
109166 |
100,0 |
|
|
Analisando a coluna de percentagem válida, é possível inferir que o nosso percentual de resposta deverá ficar em torno do indicado. Pode-se
argumentar que é pouco provável que esse tipo de agremiação promova eventos nos quais participem alunos que compõem a nossa amostra, exceto no caso de eventos do
tipo “Abraço à Lagoa".
No que diz respeito aos dados faltantes, observa-se que nas tabelas acima, em todas as questões destacadas, o percentual correspondente é muito baixo, o que indica que as
questões em foco foram elaboradas de forma satisfatória, ou seja, não há problemas no desenho do survey no que concerne ao questionário.
Algumas considerações
A literatura específica informa que há razões para se considerar que pré-testes e estudos-piloto não são usados atualmente de
forma adequada. Um dos motivos apontados é que pré-testar implica custos e tempo. No entanto, as restrições acabam por sinalizar que é possível um uso melhor
desses métodos (Babbie, 1999).
Cientes dos limites e das possibilidades de erros no trabalho por nós realizado, vale destacar a indicação assinalada pelo autor em questão da necessidade de se
aproveitar qualquer oportunidade para pré-testar os distintos aspectos do desenho do estudo. Desse modo, a pré-testagem indireta realizada nesse trabalho exemplifica esse
aproveitamento, uma vez que a análise do percentual de respostas das quinze questões do questionário SAEB/99 (aluno 8ª série), pré-testado e aplicado, que
são comuns ao nosso instrumento (não pré-testado) indica a forma como a nossa amostra tende a se comportar em relação a essas questões. Se os percentuais de
resposta da nossa população ficarem próximos daqueles da população do SAEB, é possível ter um outro tipo de indicativo, ou seja, se as questões
comuns estão adequadas ou se deverão sofrer modificações parciais, ou mesmo, substituição.
Analisando com mais detalhe os comentários dos quadros de freqüência dos quinze itens comuns, é possível supor que nas questões que envolve investimento
financeiro por parte da família, como a prática de freqüentar curso extra-curricular (esporte, língua estrangeira, música), haverá a possibilidade de se obter
um percentual mais elevado pelo fato de a nossa amostra pertencer a uma classe social de um poder aquisitivo elevado.
Outro aspecto diz respeito à freqüência nas atividades promovidas por agremiações. Como os estudantes que compõem a nossa amostra estão
matriculados em uma escola religiosa que apresenta forte engajamento em questões sociais que atingem a população de mais baixa renda residente nos arredores, fica evidente que o
percentual indicativo da participação em ações organizadas pelo “movimento religioso" será significativamente mais elevado.
Finalizando, vale ressaltar que, a realização desse tipo de análise proporciona uma entrada nas questões relativas aos métodos de pesquisa de survey,
além de possibilitar um diálogo fértil com as questões da pesquisa ora citada, principalmente no que concerne à elaboração do instrumento
(questionário).
1 Este texto foi construído ainda na primeira fase de aplicação dos questionários (2002); portanto, muito se avançou em
termos de reestruturação dos instrumentos. Vale, contudo, tomar ciência de algumas etapas enquanto processo de aprendizagem.
BABBIE, E. Métodos de pesquisa de survey. Belo Horizonte: Ed. UFMG, 1999.
|